（来源：上观新闻）
团队设计了一个🔐🌨混合前缀缓存池🇸🇹，把KV 🌆Cache分成两👨⚖️类🚅。爱奇艺又上热🇲🇷🇦🇲搜了，上次上热搜🏯🀄，印象较深的，🐋🇦🇽还是世界杯🧂🤾♂️转播事⏬件🇺🇸⌨。
在这种混合👨👨👧👧⏫架构下，线性层⏹只产出固定🇹🇷大小的循环状态，🐯🛁不随上➕下文变长而膨胀；🇸🇧只有全注😻意力层才会生成和🛃长度相关的KV ➿⛹️♀️Cache🙇🚥。另外一🇰🇮🇬🇵个点是♟️💰怎么去发掘模型😦◽的潜力🈷。
一作Ruoyu 🌘Qin（秦若愚👁），是清华大📬学计算机科学与技🇨🇷术系MA🎗DSys🤷♀️🖇实验室在🆑🧗♀️读博士生，师从🧧本文通⛺😜讯作者🇾🇪🇹🇬、清华🇪🇹🇰🇭大学计算机系🇦🇽副教授Ming🐹xing Z📄⭕hang🍞🧚♂️（章明星）🙁，后者长🚞期面向K▶🔨V Ca↙🇵🇰che架构与分布🇻🇬式推理🔛🐈。
